Tuan Haji Abd Rahman Salleh dilahirkan di Pulau Tiga, Kampung Gajah, Perak . Bapanya Tuan Guru Haji Salleh bin Abd Rahman .

Bersekolah di Sekolah Melayu Pulau Tiga dari 1946-1949. Seterusnya belajar di Madrasah Irsyadiah, Batu 26, Bagan Datoh, Perak. Kemudian belajar di Madrasah Idrisiah Bukit Chandan , Kuala Kangsar, Perak dari 1954-1956. 1957-1962 belajar di Kolej Islam Malaya. Rakan sekolahan beliau ialah Dato' Dr. Abdul Hamid Othman, Dato' Dr Yusuf Noor, Profesor Dato' Dr. Ismail Ibrahim, Ustaz Ahmad Awang, Ustaz Bukhari Harun, Ustaz Haji Juraij Haji Sulaiman dan Dr. Fauzi Awang.